「你可能忽略的A/B Test盲點??」
A/B Test算是遊戲業很常使用的方式之一。尤其目前Googleplay就內建了A/B test工具，遊戲人員可針對icon、商店頁截圖、文案來做測試對比。
產品與研發人員也很常利用A/B Test將新功能的調整，先釋放給少部分的一群用戶，來看看玩家反應如何。前幾天介紹放置遊戲趨勢的研討會中，其中某家廠商也表示使用大量A/B Test的好處。
然而，這篇來自於【mobiledevmemo】的文章介紹了A/B test的兩大盲點，蠻值得我們反思一下。
●流量來源的變化會影響測試結果。
打個比方，在還沒大量推廣時所做的A/B test，和大量推廣時所做的A/B test，玩家來源是非常不同的。尤其，有些遊戲的線上廣告訴求和五圖不一定相符合。
比方說，我們都知道手遊的廣告創意"無限"，廣告內容和遊戲內容往往有一定差異。因此，自然流量玩家，和看了線上廣告到商店頁面的玩家，其對於遊戲的"認知假設"是不一樣的。
看了線上廣告的玩家，可能以為這遊戲是3A級大作。但自然流量的玩家，可能是因為朋友說這遊戲社交結婚好玩而到頁面的。這時，如果前者的廣告量級大，則商店頁面icon以3A級大作概念去打造的轉換率就會比較好。
這也是為什麼，有時我們從點擊轉換較好的線上廣告中，截取其素材作為icon往往會改善轉換率許多。很大的原因是來自於流量本身的改變，而不一定是icon本身夠吸引人的關係。
反之，當此廣告群組碰到素材老化跑不動，而改以其他廣告素材時，icon或商店文案的轉換率，可能就會因此而有所下滑。
●某些功能的測試本身是會互相影響的，尤其是牽扯到FTUE( first-time user experience)的時候。
舉例來說，當遊戲針對新手階段的訴求(功能ㄧ)做出A/B test時(也許是將開頭動畫移除，以加速玩家進程)，此時玩家可能就會受到影響。而若再繼續後續的功能二(難度）、功能三(玩法）的A/B Test，則當我們發現玩家留存上升時，到底是1a+2b+3a造成的，還是1b+2b+3b造成的呢？
文中建議的方法是使用Bayesian Bandits 測試，這個我在實務中沒有使用過。查詢資料看起來是更為動態分群的，追蹤優化用戶的測試狀況。
譬如接受1a的玩家，若測試回饋不佳，會慢慢減少其測試數量，並在後續的測試中予以隔離，更好的處理了混雜與用戶成本的問題。(以上若有理解錯誤也請各位大大不吝指教）
●對於付費的潛在影響。
這一點是文中沒提到，但在其延伸Link內容提及的。免費遊戲收入80%來自於20%的玩家。新icon或商店文案所帶來的高轉換率，不一定會等同於好的ROi。
當新玩家的付費產生問題時，除了檢討活動、導入以外，對於icon與商店文案變化的檢視，可能也是工作之一。
是時候，該重新檢視下A/B Test這件事請了。
＃No54
#ABtest
#遊戲廣告
#出差回來好累
Search